[已解决]关于python 爬虫无法print出内容的求助

腰椎间盘快坐

在进行爬虫学习时，复制甲鱼哥的代码却无法print出任何内容，也不报错，具体网址如下：https://fishc.com.cn/thread-94979-1-1.html

import requests
import bs4
res = requests.get("https://movie.douban.com/top250")
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets = soup.find_all("div", class_="hd")
print(targets)
for each in targets:
        print(each.a.span.text)

运行结果如图，求大佬指点一二

最佳答案

月排行榜 / 总排行榜

笨鸟学飞

2020-11-25 10:07:54

没有伪装headers，豆瓣识别你是python程序，所以得不到正确的res

>>> import requests
>>> import bs4
>>> res = requests.get('https://movie.douban.com/top250')
>>> res.text
''

正确的方法是伪装一下浏览器

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3776.400 QQBrowser/10.6.4212.400'
    }
res = requests.get(url,headers=headers)

跳转到最佳答案楼层

笨鸟学飞

没有伪装headers，豆瓣识别你是python程序，所以得不到正确的res

>>> import requests
>>> import bs4
>>> res = requests.get('https://movie.douban.com/top250')
>>> res.text
''

正确的方法是伪装一下浏览器

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3776.400 QQBrowser/10.6.4212.400'
    }
res = requests.get(url,headers=headers)

腰椎间盘快坐

笨鸟学飞 发表于 2020-11-25 10:07
没有伪装headers，豆瓣识别你是python程序，所以得不到正确的res

正确的方法是伪装一下浏览器

谢谢指点，昨天发完贴后，就发现可能是这个问题，后面加了headers就好了

suchocolate

解决了就设置2楼最佳