[已解决]爬虫text里面没有东西

17623095765 · 发表于 2021-3-12 18:30:57

您需要登录才可以下载或查看，没有账号？立即注册

x

import requests
import bs4
import re

b=requests.get('https://movie.douban.com/top250')

c=bs4.BeautifulSoup(b.text,'html.parser')

>>> b
<Response [418]>
>>> b.text
''
>>>

我要爬豆瓣电影，也试了模式浏览器但是这个b.text每次都没有东西

最佳答案

YunGuo

2021-3-13 17:05:01

import requests

header = {'user-agent': 'Mozilla/5.0'}
res = requests.get('https://movie.douban.com/top250', headers=header)
print(res.text)

YunGuo · 发表于 2021-3-13 17:05:01

import requests

header = {'user-agent': 'Mozilla/5.0'}
res = requests.get('https://movie.douban.com/top250', headers=header)
print(res.text)

17623095765 · 发表于 2021-3-13 19:19:37

YunGuo 发表于 2021-3-13 17:05

请问一下是模拟浏览器的问题吗

YunGuo · 发表于 2021-3-13 19:48:16

17623095765 发表于 2021-3-13 19:19
请问一下是模拟浏览器的问题吗

是，以后写代码养成好习惯，请求网页时添加user-agent伪装一下，大部分网站都会通过请求头判断是不是脚本，不伪装请求头就获取不到正确数据。

私はり · 发表于 2021-3-13 20:09:42

不加headers可能会被反爬

账号		自动登录	找回密码
密码			立即注册