[已解决]看来我这辈子没法编爬虫了。。。

打车不打车

然后照着书上打了一遍没有返回任何东西……
求各位大佬帮忙解决一下
哪有问题可以提出

                               
登录/注册后可看大图

下面是代码：
import bs4

import requests
res =  requests.get("https://movie.douban.com/top250")
print(res.text)
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets = soup.find_all("div", class_="hd")
for each in targets:
      print(each.a.span.text)
新手上路，各位多多关照！感谢！！！

最佳答案

月排行榜 / 总排行榜

南归

2022-7-10 07:57:15

import bs4
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56",
}
res = requests.get("https://movie.douban.com/top250", headers=headers)
print(res.text)
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets = soup.find_all("div", class_="hd")
for each in targets:
    print(each.a.span.text)

跳转到最佳答案楼层

南归

豆瓣250被爬多了,需要加请求头

南归

import bs4
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56",
}
res = requests.get("https://movie.douban.com/top250", headers=headers)
print(res.text)
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets = soup.find_all("div", class_="hd")
for each in targets:
    print(each.a.span.text)

suchocolate

教程太老了，现在豆瓣检测header。
requests默认header的user-agent是python-requests，被豆瓣看到就回你418。
所以像二楼说的那样，自主设置user-agent，就能避免。

打车不打车

南归 发表于 2022-7-10 07:57

原来如此，谢谢大佬
（看来我还是书读得太少啊……）

BriMdsGalaMoon

是一种反爬手段