tianyamingyue 发表于 2020-5-4 08:56:20

urllib.request.urlopen错误

各位热心的高手帮我看看
>>>a=urllib.request.urlopen('https://www.toutiao.com/a6791675673078399502/')
>>> a.read().decode('utf-8')
'<html><head></head><body>error</body></html>'
网页的内容有好多呢，为啥就返回这么点东西。

qiuyouzhi 发表于 2020-5-4 09:00:35

8成被反爬了

liuzhengyuan 发表于 2020-5-4 09:16:54

换一个网站试试，如果能爬，就说明这个网站反爬虫

tianyamingyue 发表于 2020-5-4 10:03:00

liuzhengyuan 发表于 2020-5-4 09:16
换一个网站试试，如果能爬，就说明这个网站反爬虫

可能是，别的网站可以，怎么破解呢，我加了user-agent隐藏也没用

老八秘制 发表于 2020-5-4 10:24:32

反爬的，换个

tianyamingyue 发表于 2020-5-4 10:35:16

liuzhengyuan 发表于 2020-5-4 09:16
换一个网站试试，如果能爬，就说明这个网站反爬虫

应该是，加user-agent 也没用，怎么破解呢。

tianyamingyue 发表于 2020-5-4 17:33:46

看了论坛里的爬虫几乎都是爬妹子图网站的，难道就是因为她的反扒能力弱吗？遇到反扒能力强的我们就没辙了吗？
页: [1]
查看完整版本: urllib.request.urlopen错误