腰椎间盘快坐 发表于 2020-11-24 22:18:20

关于python 爬虫无法print出内容的求助

在进行爬虫学习时，复制甲鱼哥的代码却无法print出任何内容，也不报错，具体网址如下：https://fishc.com.cn/thread-94979-1-1.html

import requests
import bs4
res = requests.get("https://movie.douban.com/top250")
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets = soup.find_all("div", class_="hd")
print(targets)
for each in targets:
      print(each.a.span.text)

运行结果如图，求大佬指点一二

笨鸟学飞 发表于 2020-11-25 10:07:54

没有伪装headers，豆瓣识别你是python程序，所以得不到正确的res
>>> import requests
>>> import bs4
>>> res = requests.get('https://movie.douban.com/top250')
>>> res.text
''
正确的方法是伪装一下浏览器
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3776.400 QQBrowser/10.6.4212.400'
    }
res = requests.get(url,headers=headers)

腰椎间盘快坐 发表于 2020-11-25 22:24:01

笨鸟学飞 发表于 2020-11-25 10:07
没有伪装headers，豆瓣识别你是python程序，所以得不到正确的res

正确的方法是伪装一下浏览器

谢谢指点，昨天发完贴后，就发现可能是这个问题，后面加了headers就好了{:5_109:}

suchocolate 发表于 2020-11-29 10:32:57

解决了就设置2楼最佳
页: [1]
查看完整版本: 关于python 爬虫无法print出内容的求助