[已解决]爬取豆瓣Top250

不弃_ · 发表于 2022-4-12 17:00:30

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

import requests
import bs4
res = requests.get("https://movie.douban.com/top250")
soup = bs4.BeautifulSoup(res.text,"html.parser")
targets = soup.find_all("div", class_="hd")
with open("豆瓣电影.txt",'w') as f:
for each in targets:
f.write(each.a.span.text)

复制代码

为什么啥也没爬到啊

最佳答案

月排行榜 / 总排行榜

isdkz

2022-4-12 17:11:32

本帖最后由 isdkz 于 2022-4-12 17:23 编辑

现在豆瓣不加点反爬是爬不出的
import requests

import bs4

res = requests.get("https://movie.douban.com/top250", headers={'User-Agent':'Mozilla/5.0'})                                  # 加个反爬

soup = bs4.BeautifulSoup(res.text,"html.parser")

targets = soup.find_all("div", class_="hd")

with open("豆瓣电影.txt",'w') as f:

for each in targets:

      f.write(each.a.span.text)



复制代码

跳转到最佳答案楼层

isdkz · 发表于 2022-4-12 17:11:32

本帖最后由 isdkz 于 2022-4-12 17:23 编辑

现在豆瓣不加点反爬是爬不出的
import requests

import bs4

res = requests.get("https://movie.douban.com/top250", headers={'User-Agent':'Mozilla/5.0'})                                  # 加个反爬

soup = bs4.BeautifulSoup(res.text,"html.parser")

targets = soup.find_all("div", class_="hd")

with open("豆瓣电影.txt",'w') as f:

for each in targets:

      f.write(each.a.span.text)



复制代码

1050293757 · 发表于 2022-4-12 20:35:50

sahuid · 发表于 2022-4-12 21:05:08

hornwong · 发表于 2022-4-12 22:03:24

不弃_ · 发表于 2022-4-12 23:01:32

isdkz 发表于 2022-4-12 17:11
现在豆瓣不加点反爬是爬不出的

谢谢

amazed · 发表于 2022-4-13 00:36:10

66666666666666666666666666

Passepartout · 发表于 2022-4-13 06:57:39

心驰神往 · 发表于 2022-4-13 07:57:51

1050293757 发表于 2022-4-12 20:35

超级无敌磊果果 · 发表于 2022-4-13 09:14:26

myqf123 · 发表于 2022-4-13 09:50:14

1050293757 · 发表于 2022-4-13 14:08:22

tjweiyanmin · 发表于 2022-4-13 21:40:58

加油

阿萨德按时 · 发表于 2022-4-14 10:23:08

一切都为编程 · 发表于 2022-4-14 10:27:08

学习

1molHF · 发表于 2022-4-14 23:45:22

加油

1050293757 · 发表于 2022-4-15 14:37:05

CAPCL · 发表于 2022-4-15 21:14:16

kerln888 · 发表于 2022-4-15 21:47:25

burntlime · 发表于 2022-4-23 10:17:28

账号		自动登录	找回密码
密码			立即注册

[已解决]爬取豆瓣Top250

马上注册，结交更多好友，享用更多功能^_^

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

浏览过的版块