非凡 发表于 2021-9-17 23:33:56

我这代码是被网站反爬虫了吧？

import urllib.request

url = 'http://www.whatismyip.com.tw/'

prosy_support = urllib.request.ProxyHandler({'http':'120.133.60.92:80'})

opener = urllib.request.build_opener(prosy_support)
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.47')]

urllib.request.install_opener(opener)

response = opener.open(url)
html = response.read().decode('utf-8')

print(html)

报错Traceback (most recent call last):
File "<input>", line 12, in <module>
File "D:\Python\Python37\lib\urllib\request.py", line 531, in open
    response = meth(req, response)
File "D:\Python\Python37\lib\urllib\request.py", line 641, in http_response
    'http', request, response, code, msg, hdrs)
File "D:\Python\Python37\lib\urllib\request.py", line 569, in error
    return self._call_chain(*args)
File "D:\Python\Python37\lib\urllib\request.py", line 503, in _call_chain
    result = func(*args)
File "D:\Python\Python37\lib\urllib\request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

大神们，能不能告诉下我，如何看出网站是根据什么拒绝我爬虫的？是我代码哪里没伪装好？

Daniel_Zhang 发表于 2021-9-18 00:10:53

你的 headers 没写好吧

你看看浏览器端的 headers,是不是缺失了关键性数据

wp231957 发表于 2021-9-18 08:52:00

我用requests模块没有问题
urllib 不喜欢所以没有研究
你的代码不外两点，一不知道你添加的代理是什么代理，你能保证该代理是可用的吗

另   不知道你的headers 添加的是否正确

我们headers 都是headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.47'}
这个样子的

非凡 发表于 2021-9-18 10:28:50

wp231957 发表于 2021-9-18 08:52
我用requests模块没有问题
urllib 不喜欢所以没有研究
你的代码不外两点，一不知道你添加的代理 ...

谢谢，确实是代理不行，换了个就好了。{:10_257:}

谢谢

非凡 发表于 2021-9-18 10:29:20

Daniel_Zhang 发表于 2021-9-18 00:10
你的 headers 没写好吧

你看看浏览器端的 headers,是不是缺失了关键性数据

谢谢回复~是我找的代理不行~

suchocolate 发表于 2021-9-18 10:32:22

代码没有问题，帮你看了，代理不可用。

非凡 发表于 2021-9-18 10:34:25

suchocolate 发表于 2021-9-18 10:32
代码没有问题，帮你看了，代理不可用。

{:10_281:}谢谢，谢谢~~~~~{:7_123:}
页: [1]
查看完整版本: 我这代码是被网站反爬虫了吧？