[已解决]我这代码是被网站反爬虫了吧？

非凡

1. import urllib.request
   
2. 
   
3. url = 'http://www.whatismyip.com.tw/'
   
4. 
   
5. prosy_support = urllib.request.ProxyHandler({'http':'120.133.60.92:80'})
   
6. 
   
7. opener = urllib.request.build_opener(prosy_support)
   
8. opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.47')]
   
9. 
   
10. urllib.request.install_opener(opener)
    
11. 
    
12. response = opener.open(url)
    
13. html = response.read().decode('utf-8')
    
14. 
    
15. print(html)
    

复制代码

报错

1. Traceback (most recent call last):
   
2.   File "<input>", line 12, in <module>
   
3.   File "D:\Python\Python37\lib\urllib\request.py", line 531, in open
   
4.     response = meth(req, response)
   
5.   File "D:\Python\Python37\lib\urllib\request.py", line 641, in http_response
   
6.     'http', request, response, code, msg, hdrs)
   
7.   File "D:\Python\Python37\lib\urllib\request.py", line 569, in error
   
8.     return self._call_chain(*args)
   
9.   File "D:\Python\Python37\lib\urllib\request.py", line 503, in _call_chain
   
10.     result = func(*args)
    
11.   File "D:\Python\Python37\lib\urllib\request.py", line 649, in http_error_default
    
12.     raise HTTPError(req.full_url, code, msg, hdrs, fp)
    
13. urllib.error.HTTPError: HTTP Error 403: Forbidden

复制代码

大神们，能不能告诉下我，如何看出网站是根据什么拒绝我爬虫的？是我代码哪里没伪装好？

最佳答案

月排行榜 / 总排行榜

wp231957

2021-9-18 08:52:00

我用requests模块  没有问题
urllib 不喜欢  所以没有研究
你的代码  不外两点，一  不知道你添加的代理  是什么代理，你能保证该代理  是可用的吗

另   不知道你的headers 添加的是否正确

我们headers 都是headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.47'}
这个样子的  

跳转到最佳答案楼层

Daniel_Zhang

你的 headers 没写好吧

你看看浏览器端的 headers,是不是缺失了关键性数据

wp231957

我用requests模块  没有问题
urllib 不喜欢  所以没有研究
你的代码  不外两点，一  不知道你添加的代理  是什么代理，你能保证该代理  是可用的吗

另   不知道你的headers 添加的是否正确

我们headers 都是headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.47'}
这个样子的  

非凡

wp231957 发表于 2021-9-18 08:52
我用requests模块  没有问题
urllib 不喜欢  所以没有研究
你的代码  不外两点，一  不知道你添加的代理 ...

谢谢，确实是代理不行，换了个就好了。

谢谢

非凡

Daniel_Zhang 发表于 2021-9-18 00:10
你的 headers 没写好吧

你看看浏览器端的 headers,是不是缺失了关键性数据

谢谢回复~是我找的代理不行~

suchocolate

代码没有问题，帮你看了，代理不可用。

非凡

suchocolate 发表于 2021-9-18 10:32
代码没有问题，帮你看了，代理不可用。

谢谢，谢谢~~~~~