Python FAQ 024 爬虫 418 状态码

qiuyouzhi

Python FAQ 024 爬虫 418 状态码

问题：

import requests
from bs4 import BeautifulSoup
from urllib import request
url='https://movie.douban.com/top250'
a=requests.get(url)
print(a.status_code)

为何这段代码爬取后会报错？

（原文：https://fishc.com.cn/thread-159456-1-1.html）

解答:

加一个 headers，不让网站认为你是爬虫

import requests
from bs4 import BeautifulSoup
from urllib import request
url = 'https://movie.douban.com/top250'
a = requests.get(url, headers={"User-Agent": "Mozilla/5.0"})
print(a.status_code)

(by：zltzlt)

qiuyouzhi

。。。
为什么我老是忘记把帖子放进淘专辑里啊。。。

一个账号

最好把所有 headers 都加上

qiuyouzhi

一个账号 发表于 2020-3-7 09:39
最好把所有 headers 都加上

确实，我去改一改