Python FAQ 024 爬虫 418 状态码

qiuyouzhi · 发表于 2020-3-7 08:54:24

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 zltzlt 于 2020-3-7 17:36 编辑

Python FAQ 024 爬虫 418 状态码

问题：

import requests
from bs4 import BeautifulSoup
from urllib import request
url='https://movie.douban.com/top250'
a=requests.get(url)
print(a.status_code)

为何这段代码爬取后会报错？

（原文：https://fishc.com.cn/thread-159456-1-1.html）

解答:

加一个 headers，不让网站认为你是爬虫

import requests
from bs4 import BeautifulSoup
from urllib import request
url = 'https://movie.douban.com/top250'
a = requests.get(url, headers={"User-Agent": "Mozilla/5.0"})
print(a.status_code)

(by：zltzlt)

qiuyouzhi · 发表于 2020-3-7 08:58:22

。。。
为什么我老是忘记把帖子放进淘专辑里啊。。。

一个账号 · 发表于 2020-3-7 09:39:38

最好把所有 headers 都加上

qiuyouzhi · 发表于 2020-3-7 09:40:41

一个账号发表于 2020-3-7 09:39
最好把所有 headers 都加上

确实，我去改一改

账号		自动登录	找回密码
密码			立即注册

[技术交流] Python FAQ 024 爬虫 418 状态码

马上注册，结交更多好友，享用更多功能^_^

本帖被以下淘专辑推荐: