Python爬虫之代理

kkkkl

网上找的代理ip试了很多个运行起来都是这样的错。。这是为什么呢。代码写错了吗？


import urllib.request

url='http://www.whatismyip.com.tw'

proxy_support = urllib.request.ProxyHandler({'http':'218.56.132.157:8080'})

opener = urllib.request.build_opener(proxy_support)

urllib.request.install_opener(opener)

response=urllib.request.urlopen(url)

html=response.read().decode(utf-8)

print(html)



运行结果

1. >>>
   
2. ================ RESTART: C:\Users\lenovo\Desktop\mydaili.py ================
   
3. Traceback (most recent call last):
   
4.   File "C:\Users\lenovo\AppData\Local\Programs\Python\Python35\lib\urllib\request.py", line 1254, in do_open
   
5.     h.request(req.get_method(), req.selector, req.data, headers)
   
6.   File "C:\Users\lenovo\AppData\Local\Programs\Python\Python35\lib\http\client.py", line 1106, in request
   
7.     self._send_request(method, url, body, headers)
   
8.   File "C:\Users\lenovo\AppData\Local\Programs\Python\Python35\lib\http\client.py", line 1151, in _send_request
   
9.     self.endheaders(body)
   
10.   File "C:\Users\lenovo\AppData\Local\Programs\Python\Python35\lib\http\client.py", line 1102, in endheaders
    
11.     self._send_output(message_body)
    
12.   File "C:\Users\lenovo\AppData\Local\Programs\Python\Python35\lib\http\client.py", line 934, in _send_output
    
13.     self.send(msg)
    
14.   File "C:\Users\lenovo\AppData\Local\Programs\Python\Python35\lib\http\client.py", line 877, in send
    
15.     self.connect()
    
16.   File "C:\Users\lenovo\AppData\Local\Programs\Python\Python35\lib\http\client.py", line 849, in connect
    
17.     (self.host,self.port), self.timeout, self.source_address)
    
18.   File "C:\Users\lenovo\AppData\Local\Programs\Python\Python35\lib\socket.py", line 711, in create_connection
    
19.     raise err
    
20.   File "C:\Users\lenovo\AppData\Local\Programs\Python\Python35\lib\socket.py", line 702, in create_connection
    
21.     sock.connect(sa)
    
22. TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。

复制代码

新手上路，希望大神多多指教，不胜感激~

ba21

http://www.whatismyip.com.tw 都打不开了，你还拿它来测试；能变通则变通嘛，换个ip138.com也不一样的吗？

kkkkl

ba21 发表于 2017-8-15 10:23
http://www.whatismyip.com.tw 都打不开了，你还拿它来测试；能变通则变通嘛，换个ip138.com也不一样的吗？

1. import urllib.request
   
2. import random
   
3. 
   
4. url='http://www.ip138.com'
   
5. 
   
6. iplist=['110.73.30.176:8123','182.141.46.107:9000','210.76.163.216:8118','121.232.144.4:9000','59.49.129.60:8998','117.90.1.119:9000','121.232.144.143:9000','121.232.148.152:9000','61.234.123.16:82','117.90.5.207:9000','222.92.141.250:80','121.232.147.173:9000','144.255.160.88:808','61.234.123.16:82','182.90.75.137:80']
   
7. 
   
8. proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})
   
9. 
   
10. opener = urllib.request.build_opener(proxy_support)
    
11. 
    
12. opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36X-Requested-With:XMLHttpRequest')]
    
13. 
    
14. urllib.request.install_opener(opener)
    
15. 
    
16. response=urllib.request.urlopen(url)
    
17. 
    
18. html=response.read().decode(utf-8)
    
19. 
    
20. print(html)

复制代码

好像我这样子还是一样的结果呢？

lumber2388779

免费的代理ip大部分都是有问题或已经失效的，你要是想稳定，建议自己买一个，免费就这样，看运气的

kkkkl

lumber2388779 发表于 2017-8-15 10:36
免费的代理ip大部分都是有问题或已经失效的，你要是想稳定，建议自己买一个，免费就这样，看运气的

我是第一次接触爬虫，是不是一般写爬虫爬数据都是自己买的代理IP？

和vvv

如果网址没有问题的话，那么就是代理IP的问题。这个问题以前也遇到过。

使用代理IP，就是必须保证IP的可靠性和稳定性。从网上找的免费代理IP，大多数是不可用的。用来进行爬取实验的话，需要多次尝试，因为你

不知道那个IP有用和IP能够持续使用的时间。可以花一点钱，购买比较稳定的代理IP。

还有一件事，IP代理池和用户代理池结合使用，效果更好。可以看看这个：http://bbs.fishc.com/thread-89594-1-1.html

lumber2388779

kkkkl 发表于 2017-8-15 10:37
我是第一次接触爬虫，是不是一般写爬虫爬数据都是自己买的代理IP？

不一定，你要是自己用一下而已建议就是免费为主，如果经常使用还是去买一个吧

kkkkl

lumber2388779 发表于 2017-8-15 10:49
不一定，你要是自己用一下而已建议就是免费为主，如果经常使用还是去买一个吧

现在刚开始学，还是以做做练习为主，试了好多到现在也没找到能用的，代码应该没写错吧。不过谢谢大神指点~

lumber2388779

kkkkl 发表于 2017-8-15 10:54
现在刚开始学，还是以做做练习为主，试了好多到现在也没找到能用的，代码应该没写错吧。不过谢谢大神指点 ...

没看到有比较明显的错误，可以看下6楼的连接 看能有帮助不